Dual-Stream MLP is All You Need for CTR Prediction
双流 MLP：CTR 预测的极简高效方案
🧭 CTR 预测 · 特征交互 · 知识蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · ByteDance · Meituan
用知识蒸馏将显式特征交互能力压缩至主 MLP，辅以并行隐式 MLP 并通过双重对齐训练，达到 SOTA 且部署简单。
📌 工作参考价值（4 点）
- 轻量部署：线上推理只使用一个简单 MLP，但知识蒸馏可以把复杂显式交互模型（如 DCN、xDeepFM）的能力注入其中，适合大规模推荐系统对延迟敏感的场景。
- 双流互补设计：保留一个并行的隐式交互 MLP 作为辅助训练分支，缓解显式模块可能过拟合或主导预测的问题，训练后丢弃，不影响推理成本。
- 特征与 logit 双重对齐：引入隐式/显式特征表示对齐损失和最终预测 logit 对齐损失，有效平衡两个分支，防止辅助分支退化或主分支被干扰，该对齐策略可迁移到多路模型融合。
- 即插即用的蒸馏范式：DS-MLP 可作为通用 CTR 模型的压缩框架，将任意复杂 teacher 的交互知识迁移到极简 MLP，适合在电商广告、推荐系统中进行模型轻量化。